用木材制成的木材和森林产品,例如家具,是宝贵的商品,就像许多高估的自然资源的全球贸易一样,面临腐败,欺诈和非法收获的挑战。木材和森林产品部门的这些灰色和黑色市场活动不仅限于收获木材的国家,而是在整个全球供应链中扩展,并与非法金融流有关,例如基于贸易的洗钱,记录欺诈,种类标签和其他非法活动。在没有地面真理的情况下,使用贸易数据找到此类欺诈活动的任务可以作为无监督的异常检测问题进行建模。但是,现有的方法在其对大规模贸易数据的适用性方面存在某些缺点。贸易数据是异质的,具有表格格式的分类和数值属性。总体挑战在于数据的复杂性,数量和速度,具有大量实体和缺乏地面真相标签。为了减轻这些方法,我们提出了一种新型的无监督异常检测 - 基于对比度学习的异质异常检测(CHAD),通常适用于大规模的异质表格数据。我们证明,我们的模型CHAD对公共基准数据集的多个可比较基线表现出色,并且在贸易数据的情况下优于它们。更重要的是,我们证明我们的方法减少了假设和努力所需的高参数调整,这在无监督的培训范式中是一个关键的挑战。具体而言,我们的总体目标涉及使用提单贸易记录数据账单来检测可疑的木材运输和模式。在运输记录中检测异常交易可以使政府机构和供应链成分进一步调查。
translated by 谷歌翻译
Many real-world applications of language models (LMs), such as code autocomplete and writing assistance, involve human-LM interaction, but the main LM benchmarks are non-interactive, where a system produces output without human intervention. To evaluate human-LM interaction, we develop a framework, Human-AI Language-based Interaction Evaluation (H-LINE), that expands non-interactive evaluation along three dimensions, capturing (i) the interactive process, not only the final output; (ii) the first-person subjective experience, not just a third-party assessment; and (iii) notions of preference beyond quality. We then design five tasks ranging from goal-oriented to open-ended to capture different forms of interaction. On four state-of-the-art LMs (three variants of OpenAI's GPT-3 and AI21's J1-Jumbo), we find that non-interactive performance does not always result in better human-LM interaction and that first-person and third-party metrics can diverge, suggesting the importance of examining the nuances of human-LM interaction.
translated by 谷歌翻译
Recent work in large language modeling (LLMs) has used fine-tuning to align outputs with the preferences of a prototypical user. This work assumes that human preferences are static and homogeneous across individuals, so that aligning to a a single "generic" user will confer more general alignment. Here, we embrace the heterogeneity of human preferences to consider a different challenge: how might a machine help people with diverse views find agreement? We fine-tune a 70 billion parameter LLM to generate statements that maximize the expected approval for a group of people with potentially diverse opinions. Human participants provide written opinions on thousands of questions touching on moral and political issues (e.g., "should we raise taxes on the rich?"), and rate the LLM's generated candidate consensus statements for agreement and quality. A reward model is then trained to predict individual preferences, enabling it to quantify and rank consensus statements in terms of their appeal to the overall group, defined according to different aggregation (social welfare) functions. The model produces consensus statements that are preferred by human users over those from prompted LLMs (>70%) and significantly outperforms a tight fine-tuned baseline that lacks the final ranking step. Further, our best model's consensus statements are preferred over the best human-generated opinions (>65%). We find that when we silently constructed consensus statements from only a subset of group members, those who were excluded were more likely to dissent, revealing the sensitivity of the consensus to individual contributions. These results highlight the potential to use LLMs to help groups of humans align their values with one another.
translated by 谷歌翻译
The availability of large public datasets and the increased amount of computing power have shifted the interest of the medical community to high-performance algorithms. However, little attention is paid to the quality of the data and their annotations. High performance on benchmark datasets may be reported without considering possible shortcuts or artifacts in the data, besides, models are not tested on subpopulation groups. With this work, we aim to raise awareness about shortcuts problems. We validate previous findings, and present a case study on chest X-rays using two publicly available datasets. We share annotations for a subset of pneumothorax images with drains. We conclude with general recommendations for medical image classification.
translated by 谷歌翻译
我们介绍了Sparrow,这是一个寻求信息的对话代理,与提示的语言模型基线相比,训练有素,更有帮助,正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型,以帮助人类评估者判断代理人的行为。首先,为了使我们的代理人更有帮助和无害,我们将良好对话的要求分解为代理人应遵循的自然语言规则,并分别向评估者询问每个规则。我们证明,这种崩溃使我们能够收集对代理行为的更多针对性的人类判断,并允许更有效的规则条件奖励模型。其次,我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题,麻雀提供的证据支持了78%的时间。比基线比基线更享受麻雀,同时对人类的对抗性探测更具弹性,在探测时只有8%的时间违反了我们的规则。最后,我们进行了广泛的分析,表明尽管我们的模型学会遵守我们的规则,但它可以表现出分布偏见。
translated by 谷歌翻译
我们提出了一个开放域的社交聊天机器人Chirpy Cardinal。为了既有信息又有信息,我们的机器人以一种真实的,情感上的方式与用户聊天。通过将受控的神经产生与脚手架,手写的对话整合在一起,我们让用户和机器人都轮流推动对话,从而产生引人入胜且流利的体验。Chirpy Cardinal部署在Alexa奖Socialbot Grand Challenge的第四次迭代中,每天处理数千次对话,在9个机器人中排名第二,平均用户评级为3.58/5。
translated by 谷歌翻译
我们考虑了提高柱生成效率(CG)方法的方法,以解决车辆路由问题。我们介绍了CG配方中常用的NG-Route松弛度和降低状态空间松弛(DSSR)的替代/补充,我们引入了局部区域(LA)路线。 LA路线是NG路由的子集和基本路线的超级集合。通常,CG的定价阶段必须产生基本路线,这些路线是没有重复客户的路线,使用可能在计算上昂贵的流程。非元素路线至少访问至少一个客户,创建一个周期。 LA路线以允许有效定价的方式放松成为基本途径的约束。从NG-Route放松方面,最好理解LA路线。 NG路由是允许在空间中具有非定位循环的路线。这意味着周期中至少有一个中间客户(称为断路器)必须考虑到周期中的起始客户在空间上远离。使用一组特殊索引来描述LA路线,该特殊索引与从开始到路线尽头的路线上的客户相对应。 LA路线的松弛进一步限制了一组允许的周期,除了强制执行断路器必须位于特殊索引中,该循环均超出了NG路由,其中​​一组特殊索引被递归地定义为如下。该路线中的第一个特殊索引是索引1,这意味着它与路线中的第一个客户关联。 K'th特殊索引对应于K-1第三个特殊索引之后的第一个客户,该索引并非被认为是(在空间上被认为是远离K-1'TEXPATEX的客户)的邻居。我们证明,与标准DSSR相比,LA路线松弛可以显着提高定价的计算速度。
translated by 谷歌翻译
大型语言模型会产生类似人类的文本,这些文本推动了越来越多的应用。但是,最近的文献以及越来越多的现实世界观察表明,这些模型可以产生有毒,有偏见,不真实或其他有害的语言。尽管正在进行评估语言模型危害的工作,但要远见卓识转换出可能出现的危害可能会引起严格的基准。为了促进这种翻译,我们概述了六种表征有害文本的方式,这些方法在设计新基准时值得明确考虑。然后,我们将这些特征用作镜头来识别现有基准中的趋势和差距。最后,我们将它们应用于视角API的案例研究,这是一种毒性分类器,被广泛用于HARS基准。我们的特征提供了一块桥梁,可以在远见和有效评估之间转化。
translated by 谷歌翻译
我们呈现Nureality,一个虚拟现实'VR'环境,旨在测试车辆行为在城市交叉路口自主车辆和行人之间的相互作用中沟通意图的效果。在这个项目中,我们专注于表达行为作为行人的手段,即易于认识到AV运动的潜在意图。 VR是用于测试这些情况的理想工具,因为它可以被沉浸,并将受试者放入这些潜在的危险情景中而没有风险。 Nureality提供了一种新颖的和沉浸式虚拟现实环境,包括众多视觉细节(道路和建筑纹理,停放的汽车,摇曳的树肢)以及听觉细节(鸟儿唧唧喳喳,距离距离的汽车)。在这些文件中,我们呈现Nureality环境,其10个独特的车辆行为场景,以及每个场景的虚幻引擎和Autodesk Maya源文件。这些文件在www.nureality.org上公开发布为开源,以支持学术界,研究临界公平互动。
translated by 谷歌翻译
为了掌握语言模型来帮助物理研究,他们必须首先编码数学和自然语言话语的表示,这导致相干的解释,正确的排序和陈述的相关性。我们提出了一系列开发的数据集,以评估语言模型在这方面的性能,这对句子排序,位置,截面预测和话语一致性的能力测量。数据分析显示了物理话语中最常见的方程和子学科,以及方程式和表达的句子级频率。我们提出了基本的基线,展示了当代语言模型在物理学中的一致性相关任务是如何挑战的,即使在数学自然语言目标上培训也是如此。
translated by 谷歌翻译